Mohammad Yamin dilahirkan di Talawi, Sawahlunto pada 23 Ogos 1903, beliau anak i pasangan Usman Baginda Khatib dan Siti Saadah yang masing-masing berasal dari Sawahlunto dan Padang Panjang. Ayahnya memiliki enam belas anak dari lima istri, yang hampir keseluruhannya kelak menjadi intelektual yang berpengaruh. Saudara-saudara Yamin antara lain: Muhammad Yaman, seorang pendidik; Djamaluddin Adinegoro, seorang wartawan terkemuka; dan Ramana Usman, pelopor korps diplomatik Indonesia. Selain itu sepupunya, Mohammad Amir, juga merupakan tokoh pergerakan kemerdekaan Indonesia.

Yamin mendapatkan pendidikan dasarnya di Hollandsch-Inlandsche School (HIS) Palembang, kemudian melanjutkannya ke Algemeene Middelbare School (AMS) Yogyakarta. Di AMS Yogyakarta, beliau mulai mempelajari sejarah purbakala dan berbagai bahasa seperti bahasa-bahasa Yunani, Latin, dan Kawi. Namun, niat untuk melanjutkan pendidikan ke Leiden, Belanda setelah penamatan pengajiannya terpaksa diurungnya dikerana meninggaldunianya ayahnya. Beliau kemudian menjalani kuliah di Rechtshoogeschool te Batavia (Sekolah Tinggi Hukum di Jakarta, yang kelak menjadi Fakultas Hukum Universitas Indonesia), dan berhasil memperoleh gelar Meester in de Rechten (Sarjana Undang-Undang) pada tahun 1932.